Tề Linh công có vợ cả là Nhan Ý Cơ người nước Lỗ, nhưng Nhan Ý Cơ không có con. Cháu gái Ý Cơ được làm vợ lẽ Tề Linh công sinh ra Khương Quang. Tề Linh công đã lập Khương Quang làm thế tử.

Tề Linh công lại lấy con gái Thúc Tôn Tuyên Bá nước Lỗ, sinh ra công tử Khương Chử Cữu.

Sau đó ông lấy hai người vợ nữa là Trọng Cơ và Nhung Cơ. Trọng Cơ cũng sinh được con trai là Khương Nha, thấy Nhung Cơ được Linh công sủng ái bèn nhờ Nhung Cơ giúp. Theo lời Nhung Cơ, Tề Linh công hứa sẽ lập Khương Nha kế vị. Nhưng chính mẹ Nha là Trọng Cơ lại phản đối thay ngôi thế tử, vì Khương Quang đã được lập.

Tuy nhiên Tề Linh công không nghe, quyết ý lập Nha. Ông bèn sai Khương Quang đi trấn thủ phía đông và sai Cao Hậu giúp cho Khương Nha.

Năm 554 TCN, Tề Linh công ốm nặng. Đại phu Thôi Trữ ủng hộ Khương Quang bèn đón Quang về lập làm thế tử, Linh công nằm trên giường bệnh không thể ngăn cản được. Khương Quang giết chết mẹ kế Nhung Cơ.

Đến tháng 5 năm 554 TCN, Tề Linh công qua đời. Ông ở ngôi tất cả 28 năm. Thế tử Quang lên nối ngôi, tức là Tề Trang công. Khương Nha bị Tề Trang công mang ra gò Câu Độc giết chết. Ba tháng sau, người giúp Nha là Cao Hậu cũng bị Thôi Trữ giết chết.